Robustifying Vision-Language Models via Test-Time Prompt Adaptation
通过测试时提示自适应增强视觉-语言模型鲁棒性
🧭 测试时自适应 · 多模态对齐 · 对抗鲁棒性
National University of Singapore · University of Science and Technology of China · The Hong Kong University of Science and Technology
提出分布级最优传输对齐与动态缓存的测试时提示适应方法，大幅提升VLM对抗鲁棒性且无损清洁性能
📌 工作参考价值（4 点）
- 测试时适应思想可迁移至搜索推荐系统的在线学习：当数据分布因季节、事件或对抗攻击发生偏移，借鉴RITA的分布级对齐而非样本级校正，提升模型鲁棒性。
- 多模态推荐中视觉与文本特征对齐是关键瓶颈：最优传输（Optimal Transport）的分布匹配方法可直接用于对齐商品图像与标题（或用户评论）的特征空间，缓解语义错位。
- 动态缓存（dynamic cache）累积可靠测试样本的思路适合电商推荐的高频流式更新：设计信任度阈值，仅将高质量预测样本加入缓存，逐步优化提示或轻量适配器，实现低延迟在线进化。
- 增强视图（augmented views）保留语义完整性的观察可启发搜索推荐中的“多视图”特征利用：例如同一商品的不同角度、背景，通过分布视角聚合来抵抗图像噪声或恶意对抗样本。